ML►deep learning►toolbox

自动求导

tensorflow

一般机器学习系统可以提供两类接口，命令式（Imperative）和声明式（Declarative）。命令式就是直接把一些op的正向运算和求导运算都直接实现了，例如下面的Python代码。

1
2
3
4
5
6
7
8
def square(x):
  return x * x;

def square_grad(x):
  return 2 * x

print(square(10))
print(square_grad(10))

参考

https://www.zhihu.com/question/66200879
https://www.zhihu.com/question/56443480

pytorch

问题

tensorflow和pytorch的求导，是在cpu中进行的还是gpu？
pytorch采用命令式编程，是不是很吃内存？

参考

https://pytorch-cn.readthedocs.io/zh/latest/notes/autograd/